Emotion Recognition From Body Movement

Automatic emotion recognition from the analysis of body movement has tremendous potential to revolutionize virtual reality, robotics, behavior modeling, and biometric identity recognition domains. A computer system capable of recognizing human emotion from the body can also significantly change the way we interact with the computers. One of the significant challenges is to identify emotion-specific features from a vast number of descriptors of human body movements. In this paper, we introduce a novel two-layer feature selection framework for emotion classification from a comprehensive list of body movement features. We used the feature selection framework to accurately recognize five basic emotions: happiness, sadness, fear, anger, and neutral. In the first layer, a unique combination of Analysis of Variance (ANOVA) and Multivariate Analysis of Variance (MANOVA) was utilized to eliminate irrelevant features. In the second layer, a binary chromosome-based genetic algorithm was proposed to select a feature subset from the relevant list of features that maximizes the emotion recognition rate. Score and rank-level fusion were applied to further improve the accuracy of the system. The proposed system was validated on proprietary and public datasets, containing 30 subjects. Different action scenarios, such as walking and sitting actions, as well as an action-independent case, were considered. Based on the experimental results, the proposed emotion recognition system achieved a very high emotion recognition rate outperforming all of the state-of-the-art methods. The proposed system achieved recognition accuracy of 90.0% during walking, 96.0% during sitting, and 86.66% in an action-independent scenario, demonstrating high accuracy and robustness of the developed method.

身体の動きの解析による自動的な感情認識は、バーチャルリアリティ、ロボット工学、行動モデリング、生体認証の領域を革新する非常に大きな可能性を持っています。また、身体から人間の感情を認識できるコンピュータシステムは、私たちとコンピュータの関わり方を大きく変える可能性があります。重要な課題の一つは、人間の身体の動きに関する膨大な数の記述子から、感情に特化した特徴量を同定することである。本論文では、体動の包括的な特徴量のリストから感情を分類するための新しい2層特徴選択フレームワークを紹介する。この特徴選択フレームワークを用いて、幸福、悲しみ、恐れ、怒り、中立の5つの基本的な感情を正確に認識することができた。第1層では、分散分析（ANOVA）と多変量分散分析（MANOVA）のユニークな組み合わせにより、無関係な特徴を排除した。第2層では、2値染色体に基づく遺伝的アルゴリズムにより、関連する特徴量の中から感情認識率を最大化する特徴量部分集合を選択することを提案した。さらに、スコアとランクレベルのフュージョンを適用し、システムの精度を向上させた。提案システムを、30人の被験者を含む独自データセットと公開データセットで検証した。歩行や座位などの異なる行動シナリオと、行動に依存しないケースを検討した。実験結果に基づき、提案する感情認識システムは、すべての最先端手法を凌駕する非常に高い感情認識率を達成した。また、歩行時の認識率は90.0%、座位時の認識率は96.0%、行動に依存しないシナリオでは86.66%を達成し、開発した手法の高い精度とロバスト性を実証しました。